[ Day 7 ] - Pyspark | 清理 - 時間篇 - 1 : Timestamp 轉換 : to_timestamp() - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

2023 iThome 鐵人賽

DAY 7

AI & Data

[ Day 7 ] - Pyspark | 清理 - 時間篇 - 1 : Timestamp 轉換 : to_timestamp()

15th鐵人賽 pyspark data cleaning data engineer data

348 瀏覽

各種各樣的轉換,時間
今天是星期五,應該是容許水一天的吧

基本上就是針對日期格式做相對應的轉換！

詳細情境：
當你的pyspark版本超過2.X版之後,對於日期格式的format 就變得非常嚴格,這個部分要多多注意
可以使用spark.sql("set spark.sql.legacy.timeparserpolicy=exception")切換成與舊版相容,才能夠切到喜歡的格式

#Timestamp String to DateType
df = df.withColumn("Date",to_timestamp(col("Date"), "yyyy-mm-dd"))

系列文

30天胡搞瞎搞學會pyspark 共 30 篇

4 人訂閱

完整目錄

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

立即登入留言